Deep learning that scales: leveraging compute and data

Deep learning has revolutionized the field of artificial intelligence in the past decade. Although the development of these techniques spans over several years, the recent advent of deep learning is explained by an increased availability of data and compute that have unlocked the potential of deep neural networks. They have become ubiquitous in domains such as natural language processing, computer vision, speech processing, and control, where enough training data is available. Recent years have seen continuous progress driven by ever-growing neural networks that benefited from large amounts of data and computing power. This thesis is motivated by the observation that scale is one of the key factors driving progress in deep learning research, and aims at devising deep learning methods that scale gracefully with the available data and compute. We narrow down this scope into two main research directions. The first of them is concerned with designing hardware-aware methods which can make the most of the computing resources in current high performance computing facilities. We then study bottlenecks preventing existing methods from scaling up as more data becomes available, providing solutions that contribute towards enabling training of more complex models. This dissertation studies the aforementioned research questions for two different learning paradigms, each with its own algorithmic and computational characteristics. The first part of this thesis studies the paradigm where the model needs to learn from a collection of examples, extracting as much information as possible from the given data. The second part is concerned with training agents that learn by interacting with a simulated environment, which introduces unique challenges such as efficient exploration and simulation

Learning to skip state updates in recurrent neural networks

Recurrent Neural Networks (RNNs) continue to show outstanding performance in sequence modeling tasks. However, training RNNs on long sequences often face challenges like slow inference, vanishing gradients and dificulty in capturing long term dependencies. In backpropagation through time settings, these issues are tightly coupled with the large, sequential computational graph resulting from unfolding the RNN in time. We introduce the Skip RNN model which extends existing RNN models by learning to skip state updates and shortens the effective size of the computational graph. This network can be encouraged to perform fewer state updates through a novel loss term. We evaluate the proposed model on various tasks and show how it can reduce the number of required RNN updates while preserving, and sometimes even improving, the performance of the baseline models.Les Xarxes Neuronals Recurrents (de l’anglès, RNNs) mostren un alt rendiment en tasques de modelat de seqüències. Tot i així, entrenar RNNs en seqüències llargues sol provocar dificultats com una inferència lenta, gradients que s’esvaeixen i dificultats per capturar dependències temporals a llarg terme. En escenaris amb backpropagation through time, aquests problemes estan estretament relacionats amb la longitud i la seqüencialitat del graf computacional resultant de desdoblar la RNN en el temps. Presentem Skip RNN, model que extén arquitectures recurrents existents, permetent-les aprendre quan ometre actualitzacions del seu estat i escurçant així la longitud efectiva del graf computacional. Aquesta xarxa pot ser estimulada per efectuar menys actualitzacions d’estat a través d’un nou terme a la funció de cost. Avaluem el model proposat en una sèrie de tasques i demostrem com pot reduir el nombre d’actualitzacions de la RNN mentre preserva, o fins i tot millora, el rendiment dels models de referència.Las Redes Neuronales Recurrentes (del inglés, RNNs) muestran un alto rendimiento en tareas de modelado de secuencias. Aún así, entrenar RNNs en secuencias largas suele provocar difi- cultades como una inferencia lenta, gradientes que se desvanecen y dificultades para capturar dependencias temporales a largo plazo. En escenarios con backpropagation through time, estos problemas están estrechamente relacionados con la longitud y la secuencialidad del grafo computacional resultante de desdoblar la RNN en el tiempo. Presentamos Skip RNN, un modelo que extiende arquitecturas recurrentes existentes, permitiéndoles aprender cuándo omitir actualizaciones de su estado y acortando así la longitud efectiva del grafo computacional. Esta red puede ser estimulada para efectuar menos actualizaciones de estado a través de un nuevo elemento en la función de coste. Evaluamos el modelo propuesto en una serie de tareas y demostramos cómo puede reducir el número de actualizaciones de la RNN mientras preserva, o incluso mejora, el rendimiento de los modelos de referencia

Explore, discover and learn: unsupervised discovery of state-covering skills

Acquiring abilities in the absence of a task-oriented reward function is at the frontier of reinforcement learning research. This problem has been studied through the lens of empowerment, which draws a connection between option discovery and information theory. Information-theoretic skill discovery methods have garnered much interest from the community, but little research has been conducted in understanding their limitations. Through theoretical analysis and empirical evidence, we show that existing algorithms suffer from a common limitation -- they discover options that provide a poor coverage of the state space. In light of this, we propose 'Explore, Discover and Learn' (EDL), an alternative approach to information-theoretic skill discovery. Crucially, EDL optimizes the same information-theoretic objective derived from the empowerment literature, but addresses the optimization problem using different machinery. We perform an extensive evaluation of skill discovery methods on controlled environments and show that EDL offers significant advantages, such as overcoming the coverage problem, reducing the dependence of learned skills on the initial state, and allowing the user to define a prior over which behaviors should be learned.This work was partially supported by the Spanish Ministry of Science and Innovation and the European Regional Development Fund under contracts TEC2016-75976-R and TIN2015-65316-P, by the BSC-CNS Severo Ochoa program SEV-2015-0493, and by Generalitat de Catalunya under contracts 2017-SGR-1414 and 2017-DI-011. Víctor Campos was supported by Obra Social “la Caixa” through La Caixa-Severo Ochoa International Doctoral Fellowship program.Peer ReviewedPostprint (published version

Anàlisi capa a capa de xarxes neuronals convolucionals per predicció de sentiments visuals

Investigate the potential of deep learning techniques in the field of computer vision applied to affective computing.Visual media are powerful means of expressing emotions and sentiments. The constant generation of new content in social networks highlights the need of automated visual sentiment analysis tools. While Convolutional Neural Networks (CNNs) have established a new state-of-the-art in several vision problems, their application to the task of sentiment analysis is mostly unexplored and there are few studies regarding how to design CNNs for this purpose. In this work, we study the suitability of fine-tuning a CNN for visual sentiment prediction as well as explore performance boosting techniques within this deep learning setting. Finally, we provide a deep-dive analysis into a benchmark, state-of-the-art network architecture to gain insight about how to design patterns for CNNs on the task of visual sentiment prediction.Los contenidos audiovisuales son un medio muy poderoso para expresar emociones y sentimientos. La constante generación de nuevos contenidos en las redes sociales destaca la necesidad de disponer de herramientas capaces de realizar un análisis automático de sentimientos visuales. Mientras las Redes Neuronales Convolucionales (del inglés, CNNs) han establecido el estado del arte en numerosos problemas de visión, su aplicación a la anterior tarea permanece prácticamente inexplorada y se dispone de muy poco conocimiento sobre cómo diseñar CNNs para tal propósito. En este trabajo estudiamos la viabilidad de hacer fine-tuning sobre una CNN para la tarea de predicción de sentimientos visuales y exploramos técnicas de mejora de rendimiento de deep learning (aprendizaje profundo). Finalmente, desarrollamos un profundo análisis de la anterior arquitectura con el objetivo de entender mejor el diseño de CNNs para la tarea de predicción de sentimientos visuales.Els continguts audiovisuals són un mitjà molt poderós per tal d’expressar emocions i sentiments. La contínua generació de nou contingut en les xarxes socials destaca la necessitat de disposar d’eines d’anàlisi automàtic de sentiments visuals. Mentre que les Xarxes Neuronal Convolucionals (de l’anglès, CNNs) han establert l’estat de l’art en nombrosos problemes de visió, la seva aplicació a l’anterior tasca roman pràcticament inexplorada i disposem de molt poc coneixement sobre com dissenyar CNNs per aquest propòsit. En aquest treball estudiem la viabilitat de fer fine-tuning sobre una CNN per predicció de sentiments visuals i explorem l’ús de tècniques de millora de rendiment deep learning (aprenentatge profund). Finalment, desenvolupem un profund anàlisi d’aquesta arquitectura per tal d’entendre millor el disseny de CNNs per la tasca de predicció de sentiments visuals

Learning to skip state updates in recurrent neural networks

Recurrent Neural Networks (RNNs) continue to show outstanding performance in sequence modeling tasks. However, training RNNs on long sequences often face challenges like slow inference, vanishing gradients and dificulty in capturing long term dependencies. In backpropagation through time settings, these issues are tightly coupled with the large, sequential computational graph resulting from unfolding the RNN in time. We introduce the Skip RNN model which extends existing RNN models by learning to skip state updates and shortens the effective size of the computational graph. This network can be encouraged to perform fewer state updates through a novel loss term. We evaluate the proposed model on various tasks and show how it can reduce the number of required RNN updates while preserving, and sometimes even improving, the performance of the baseline models.Les Xarxes Neuronals Recurrents (de l’anglès, RNNs) mostren un alt rendiment en tasques de modelat de seqüències. Tot i així, entrenar RNNs en seqüències llargues sol provocar dificultats com una inferència lenta, gradients que s’esvaeixen i dificultats per capturar dependències temporals a llarg terme. En escenaris amb backpropagation through time, aquests problemes estan estretament relacionats amb la longitud i la seqüencialitat del graf computacional resultant de desdoblar la RNN en el temps. Presentem Skip RNN, model que extén arquitectures recurrents existents, permetent-les aprendre quan ometre actualitzacions del seu estat i escurçant així la longitud efectiva del graf computacional. Aquesta xarxa pot ser estimulada per efectuar menys actualitzacions d’estat a través d’un nou terme a la funció de cost. Avaluem el model proposat en una sèrie de tasques i demostrem com pot reduir el nombre d’actualitzacions de la RNN mentre preserva, o fins i tot millora, el rendiment dels models de referència.Las Redes Neuronales Recurrentes (del inglés, RNNs) muestran un alto rendimiento en tareas de modelado de secuencias. Aún así, entrenar RNNs en secuencias largas suele provocar difi- cultades como una inferencia lenta, gradientes que se desvanecen y dificultades para capturar dependencias temporales a largo plazo. En escenarios con backpropagation through time, estos problemas están estrechamente relacionados con la longitud y la secuencialidad del grafo computacional resultante de desdoblar la RNN en el tiempo. Presentamos Skip RNN, un modelo que extiende arquitecturas recurrentes existentes, permitiéndoles aprender cuándo omitir actualizaciones de su estado y acortando así la longitud efectiva del grafo computacional. Esta red puede ser estimulada para efectuar menos actualizaciones de estado a través de un nuevo elemento en la función de coste. Evaluamos el modelo propuesto en una serie de tareas y demostramos cómo puede reducir el número de actualizaciones de la RNN mientras preserva, o incluso mejora, el rendimiento de los modelos de referencia

Anàlisi capa a capa de xarxes neuronals convolucionals per predicció de sentiments visuals

Investigate the potential of deep learning techniques in the field of computer vision applied to affective computing.Visual media are powerful means of expressing emotions and sentiments. The constant generation of new content in social networks highlights the need of automated visual sentiment analysis tools. While Convolutional Neural Networks (CNNs) have established a new state-of-the-art in several vision problems, their application to the task of sentiment analysis is mostly unexplored and there are few studies regarding how to design CNNs for this purpose. In this work, we study the suitability of fine-tuning a CNN for visual sentiment prediction as well as explore performance boosting techniques within this deep learning setting. Finally, we provide a deep-dive analysis into a benchmark, state-of-the-art network architecture to gain insight about how to design patterns for CNNs on the task of visual sentiment prediction.Los contenidos audiovisuales son un medio muy poderoso para expresar emociones y sentimientos. La constante generación de nuevos contenidos en las redes sociales destaca la necesidad de disponer de herramientas capaces de realizar un análisis automático de sentimientos visuales. Mientras las Redes Neuronales Convolucionales (del inglés, CNNs) han establecido el estado del arte en numerosos problemas de visión, su aplicación a la anterior tarea permanece prácticamente inexplorada y se dispone de muy poco conocimiento sobre cómo diseñar CNNs para tal propósito. En este trabajo estudiamos la viabilidad de hacer fine-tuning sobre una CNN para la tarea de predicción de sentimientos visuales y exploramos técnicas de mejora de rendimiento de deep learning (aprendizaje profundo). Finalmente, desarrollamos un profundo análisis de la anterior arquitectura con el objetivo de entender mejor el diseño de CNNs para la tarea de predicción de sentimientos visuales.Els continguts audiovisuals són un mitjà molt poderós per tal d’expressar emocions i sentiments. La contínua generació de nou contingut en les xarxes socials destaca la necessitat de disposar d’eines d’anàlisi automàtic de sentiments visuals. Mentre que les Xarxes Neuronal Convolucionals (de l’anglès, CNNs) han establert l’estat de l’art en nombrosos problemes de visió, la seva aplicació a l’anterior tasca roman pràcticament inexplorada i disposem de molt poc coneixement sobre com dissenyar CNNs per aquest propòsit. En aquest treball estudiem la viabilitat de fer fine-tuning sobre una CNN per predicció de sentiments visuals i explorem l’ús de tècniques de millora de rendiment deep learning (aprenentatge profund). Finalment, desenvolupem un profund anàlisi d’aquesta arquitectura per tal d’entendre millor el disseny de CNNs per la tasca de predicció de sentiments visuals

Farmhouse and barn.

Black and white photograph of a farmhouse and barn, with a meadow and large trees in the foreground